专利摘要:
音響再生装置の設計/シミュレーションシステムは、バックグラウンドノイズを考慮して、設計した空間のより現実的な音響再現と、設計した空間のより正確な品質尺度とを提供する。バックグラウンドノイズはライブラリとして設計システムに提供され、ユーザによるバックグラウンドノイズプロファイルの選択を可能とする。また、ユーザは、建造した空間又は類似の空間で録音したバックグラウンドノイズを提供することができる。設計システムは、録音したバックグラウンドノイズをバックグラウンドノイズプロファイルに変換して、該プロファイルをライブラリに追加する。ユーザは、バックグラウンドノイズプロファイルを選択して、該プロファイルを特定の空間に関連付けることができる。ユーザは、バックグラウンドノイズのノイズレベルを調整でき、かつ設計システムは、バックグラウンドノイズレベルの変化に応じて、1つ以上の品質尺度を自動的に更新する。
公开号:JP2011505750A
申请号:JP2010536027
申请日:2008-09-25
公开日:2011-02-24
发明作者:クリストファー・ビー・アイクラー;マイケル・ビー・モンクス;モーテン・ヨルゲンセン
申请人:ボーズ・コーポレーションBose Corporation;
IPC主号:H04S5-02
专利说明:

[0001] この開示は、音響再生装置(サウンドシステム)の設計及びシミュレーションのためのシステム及び方法に関する。]
背景技術

[0002] 明細書中では、設計システム及びシミュレーションシステムという名称は可換的に用いられ、ユーザが、再生場所(venue)の少なくとも一部分のモデルを構築すること、再生場所の周囲又はその内に音響再生装置の構成要素を配置すること、及び、音響再生装置の構成要素によって生成されるオーディオ信号を特徴づける1つ以上の尺度を算出することを可能とするシステムを指す。また、設計システム及びシミュレーションシステムは、音響再生装置の構成要素によって生成されるオーディオ信号をシミュレートすることによって、ユーザによるオーディオシミュレーション結果聴取を可能とする。]
[0003] 米国特許第5812676号明細書
米国特許出願第10/964421号(米国特許出願公開第20060078130号)明細書]
先行技術

[0004] K. D. Jacob et al., "Accurate Prediction of Speech Intelligibility without the Use of In-Room Measurements," J. Audio Eng. Soc., Vol. 39, No. 4, pp 232-242 (April, 1991)
M. Kleiner et al., "Auralization: Experiments in AcousticalCAD," Audio Engineering Society Preprint #2990, Sept., 1990
Houtgast, T. and Steeneken, H. J. M. "Evaluation of Speech Transmission Channels by Using Artificial Signals," Acoustica, Vol. 25, pp 355-367, (1971)
Houtgast, T. and Steeneken, H. J. M. "Predicting Speech Intelligibility in Room from the Modulation Transfer Function. I. General Room Acoustics," Acoustica, Vol. 46, pp 60-72 (1980)
国際規格IEC60268-16, "Sound System Equipment - Part 16: Objective Rating of Speech Intelligibility by Speech Transmission Index"
K. D. Jacob, "Development of a New Algorithm for Predicting the Speech Intelligibility of Sound Systems," presented at the 83rd Convention of the Audio Engineering Society, New York, NY (1987)]
課題を解決するための手段

[0005] 音響再生装置の設計/シミュレーションシステムは、バックグラウンドノイズを考慮して、設計した空間のより現実的な音響再現と、設計した空間のより正確な品質尺度とを提供する。バックグラウンドノイズは、ライブラリとして設計システムに提供され、ユーザによるバックグラウンドノイズプロファイルの選択を可能とする。また、ユーザは、建造した空間又は類似の空間で録音したバックグラウンドノイズを提供することができる。設計システムは、録音したバックグラウンドノイズをバックグラウンドノイズプロファイルに変換して、該プロファイルをバックグラウンドノイズプロファイルのライブラリに追加する。ユーザは、バックグラウンドノイズプロファイルを選択して、該プロファイルを特定の空間に関連付けることができる。ユーザは、バックグラウンドノイズのノイズレベルを調整でき、かつ設計システムは、バックグラウンドノイズレベルの変化に応じて、1つ以上の品質尺度を自動的に更新する。]
[0006] 本発明の一態様は、オーディオシミュレーションシステムを対象とする。上記オーディオシミュレーションシステムは、ユーザによる再生場所の三次元モデルの構築機能及び該モデル内での1つ以上のスピーカの配置及び方向付け機能を有するように構成されたモデル管理部と、上記モデルの構成要素の少なくとも1つの音響特性に基づいて、上記再生場所の一部分における有効範囲パターンを推定するように構成されたオーディオエンジン部と、少なくとも2つの音響信号を生成して、上記モデル内の上記1つ以上のスピーカで再生されるオーディオプログラムをシミュレートするオーディオ再生部とを具備する。上記少なくとも2つの音響信号には、オーディオプログラム信号と、バックグラウンドノイズ信号とが含まれる。一態様において、上記バックグラウンドノイズ信号が平衡化されて、上記オーディオ再生部によって生成される直線歪みが低減される。別の態様は、少なくとも1つのユーザ定義バックグラウンドノイズファイルからなるバックグラウンドノイズライブラリ部をさらに具備する。上記ユーザ定義バックグラウンドノイズファイルは、ノイズプロファイル部分と、上記バックグラウンドノイズの音響信号を表すバックグラウンドノイズ信号とからなる。上記ノイズプロファイル部分は、上記オーディオエンジン部によって使用されて、音声明瞭度範囲パターンを推定する。上記バックグラウンドノイズ信号は、上記オーディオ再生部によって再生されて、バックグラウンドノイズをシミュレートする。さらに別の態様では、上記バックグラウンドノイズ信号は、本シミュレーションシステムによってモデル化された上記再生場所で記録される。さらに別の態様では、上記バックグラウンドノイズ信号は、本シミュレーションシステムによってモデル化された上記再生場所に類似した再生場所で記録される。さらに別の態様では、上記バックグラウンドノイズ信号のレベルは、上記オーディオプログラム信号のレベルとは独立して調整される。さらに別の態様では、上記音声明瞭度範囲パターンは、自動的に更新されて、独立して調整された上記バックグラウンドノイズ信号を上記オーディオプログラム信号に反映させる。別の態様は、ユーザによる上記ユーザ定義バックグラウンドノイズファイルの上記ノイズプロファイル部分のグラフィカルな編集機能を有するように構成されたプロファイル編集部をさらに具備する。]
[0007] 本発明の別の態様は、オーディオシミュレーション方法を対象とする。上記オーディオシミュレーション方法は、モデル管理部、オーディオエンジン部、及びオーディオ再生部を具備したオーディオシミュレーションシステムを提供する段階と、上記オーディオシミュレーションシステムに再生場所のモデルを構築する段階と、上記モデル内の位置を選択する段階と、少なくとも2つの音響信号を生成して、選択した上記位置において上記モデル内の音響再生装置で再生されるオーディオプログラムをシミュレートする段階とを有する。上記モデルには、上記音響再生装置が含まれる。上記少なくとも2つの音響信号には、オーディオプログラム信号と、バックグラウンドノイズ信号とが含まれる。別の態様は、上記再生場所に基づいて、上記バックグラウンドノイズ信号を選択する段階をさらに有する。別の態様は、上記オーディオプログラム信号とは独立して、上記バックグラウンドノイズ信号を調整する段階をさらに有する。別の態様は、現在の再生場所におけるバックグラウンドノイズを録音する段階と、録音した上記バックグラウンドノイズを平衡化して、上記音響再生部によって生成される直線歪みを低減する段階と、平衡化された上記バックグラウンドノイズをファイルに保存する段階とをさらに有する。上記ファイルは、ユーザ選択可能なバックグラウンドノイズファイルのライブラリの一部分である。別の態様は、上記バックグラウンドノイズ信号を編集する段階をさらに有する。]
[0008] 本発明の別の態様は、コンピュータ実行可能命令を格納したコンピュータ可読媒体を対象とする。上記コンピュータ可読媒体は、モデル管理部、オーディオエンジン部、及びオーディオ再生部を具備したオーディオシミュレーションシステムを提供する手順と、上記オーディオシミュレーションシステムに再生場所のモデルを構築する手順と、上記モデル内の位置を選択する手順と、少なくとも2つの音響信号を生成して、選択した上記位置における上記モデル内の音響再生システムで再生されるオーディオプログラムをシミュレートする手順とをコンピュータに実行させる命令を格納する。上記モデルには、上記音響再生システムが含まれる。上記少なくとも2つの音響信号には、オーディオプログラム信号と、バックグラウンドノイズ信号とが含まれる。]
図面の簡単な説明

[0009] 対話型の音響再生装置設計システムの構成を示す図である。
図1に示したシステムのユーザインタフェース部の表示部分を示す。
図2の表示部分のうちのモデリングウィンドウの詳細図である。
図2の表示部分のうちの詳細ウィンドウの詳細図である。
図2の表示部分のうちのデータウィンドウの詳細図である。
MTFタブを選択した際のデータウィンドウの詳細図である。
典型的な音声明瞭度問題を示すMTFプロット例を示す。
音響再生装置のシミュレーションに用いられるルームレベル音響パラメータを表示したダイアログボックスの例を示す。
バックグラウンドノイズプロファイル編集ウィンドウを図示する。
再生タブを選択した際のデータウィンドウを図示する。] 図1 図2
実施例

[0010] 図1は、対話型の音声再生装置設計システムの構成を示す。設計システムは、ユーザインタフェース部110と、モデル管理部120と、オーディオエンジン部130と、オーディオ再生部140とからなる。モデル管理部120は、ユーザによる、再生場所の三次元モデルの構築機能と、再生場所の表面材料の選択機能と、モデル内での1つ以上のスピーカの配置及び方向付け機能とを有する。プロパティデータベース部124は、再生場所の建造に使用される複数の材料の音響プロパティを格納する。オーディオデータベース部126は、設計した音響再生装置の一部分として使用されるスピーカ及びその他のオーディオ機材の音響プロパティを格納する。再生場所又は音響空間122を特徴づける変数、例えば、温度、湿度、バックグラウンドノイズ、及び占有率などが、モデル管理部120によって格納される。ユーザは、さまざまなタイプのバックグラウンドノイズを表す複数のファイルのライブラリからバックグラウンドノイズを選択できる。ライブラリ中の各ファイルは、周波数領域でバックグラウンドノイズを特徴づけるノイズプロファイルと、オーディオエンジン部によって再生されて、モデル内でバックグラウンドノイズをシミュレートするオーディオ部分とからなる。] 図1
[0011] オーディオエンジン部130は、モデル管理部120によって管理される再生場所の音響モデルと、オーディオ機材の配置とに基づいて、再生場所の1つ以上の音声再生品質又は音声再生尺度の推定を行う。オーディオエンジン部130は、再生場所の任意の位置における直接的及び/又は間接的音場範囲を推定し、音響技術分野では既知の方法及び測定法を用いて、モデル化された再生場所を特徴づける1つ以上の音声再生尺度を生成する。]
[0012] オーディオ再生部140は、少なくとも2つの音響信号を生成する。好ましくは、少なくとも2つの音響信号は、ユーザに対して、実際の再生場所における設計した音声再生装置の現実的なシミュレーションを提供する。ユーザは、再生場所の聴取者に何が聴こえるかをシミュレートする少なくとも2つの音響信号を生成するためのソース入力として、オーディオ再生部が使用するオーディオプログラムを選択できる。少なくとも2つの音響信号は、オーディオエンジンによって予測されたモデル化された再生場所の予測直接音響及び残響特性に従って、選択したオーディオプログラムをフィルタリングすることにより、オーディオ再生部によって生成される。オーディオ再生部140により、設計者は、再生場所でオーディオプログラムがどのように響くかを、好ましくは、再生場所の建造を開始する前に、聴取可能となる。多くの場合、人の耳は、オーディオエンジン部130によって生成された音場範囲マップには現れないような、微小かつ微妙な差異を聴き分けることができる。これにより、設計者は、再生場所の初期設計段階で、材料及び/又は表面形状の選択に変更を加えることができる。そのような変更は、同じ変更が再生場所の建造後に行われる場合の改装費用に比べて、少ない費用で実施できる。また、オーディオ再生部によって提供されるモデル化された再生場所の可聴化により、クライアント及び設計者は、再生場所でのさまざまな音声再生装置の再生効果(エフェクト)を聴取可能となり、かつクライアントは、例えば、複数の音声再生装置間に可聴差が存在する場合に、より高価な音声再生装置を選択することへの正当な理由付けが行える。オーディオ再生部の一例が、1998年9月22日に特許された米国特許第5,812,676号(特許文献1)に記載されている。]
[0013] 対話型の音声再生装置設計システムの例が、2004年10月13日に出願された同時係属中の米国特許出願第10/964,421号(特許文献2)に記載されている。有効範囲、音声明瞭度等を算出するためにオーディオエンジンによって使用される手順及び方法は、例えば、非特許文献1に開示されている。オーディオ再生部によって実施される可聴化方法は、例えば、非特許文献2に記載がある。]
[0014] 図2は、図1に示されたシステムのユーザインタフェース部の表示部分を示す。図2において、表示部200は、プロジェクトウィンドウ210と、モデリングウィンドウ220と、詳細ウィンドウ230と、データウィンドウ240とを表示している。プロジェクトウィンドウ210は、現存する設計プロジェクトを開くため、又は、新たな設計プロジェクトを開始するために使用される。プロジェクトウィンドウ210は、プロジェクトが開かれた後に、モデリングウィンドウ220を拡大するために閉じられてよい。] 図1 図2
[0015] モデリングウィンドウ220、詳細ウィンドウ230、及びデータウィンドウ240は、ユーザに対して異なる態様の設計プロジェクトを同時に提示するとともに、1つのウィンドウにおけるデータの変化が他のウィンドウに自動的に反映されるように互いにリンクされる。各ウィンドウは、プロジェクトの一態様を特徴づける異なるビューを表示する機能を有する。ユーザは、特定のビューに関連付けられたコントロールタブを選択することによって、その特定のビューを選択できる。]
[0016] 図3は、例示的なモデリングウィンドウ220を示す。図3において、コントロールタブ325には、ウェブ(Web)タブ、モデル(Model)タブ、直接(Direct)タブ、直接+反響(Direct + Reverb)タブ、及び音声(Speech)タブが含まれる。ウェブタブは、ウェブアクセス、例えば、プラグインソフトウェアコンポーネントへのアクセスやウェブからの更新データのダウンロードのためのポータルをユーザに提供する。モデルタブは、ユーザによるモデルの構築及び閲覧機能を有する。モデルは、ユーザによる回転が可能な三次元透視図として表示されてよい。図3では、モデルタブ326が選択されており、表示領域321には、プランビューとしてモデルが表示されるとともに、ユーザ選択可能な2つのスピーカ328,329及び聴取者327の位置が示されている。] 図3
[0017] 直接タブ、直接+反響タブ、及び音声タブは、直接フィールド、直接+反響フィールド、及び音声明瞭度フィールドに対する有効範囲パターンの推定及び表示を行う。有効範囲は、ユーザによって選択されてよい。好ましくは、有効範囲パターンは、表示されたモデルの一部分を覆う。有効範囲パターンは、色分けされて、有効範囲の強弱部位又は有効範囲の均一性を示してよい。直接フィールドは、モデル化された再生場所内の複数のスピーカのそれぞれからの直接信号によって生成されるある位置におけるSPLに基づいて推定される。直接+反響フィールドは、モデル化された再生場所内の複数のスピーカのそれぞれからの直接信号及び反響信号の両方によって生成されるある位置におけるSPLに基づいて推定される。反響の統計的モデルを使用して、高次反射のモデル化を行ってもよく、その結果が、推定した直接+反響フィールドに組み込まれてよい。音声明瞭度フィールドは、表示されたモデルの各部分の音声伝達指標(STI)を表示する。STIについては、非特許文献1、非特許文献3、非特許文献4、及び非特許文献5に記載がある。]
[0018] 図4は、例示的な詳細ウィンドウ230を示す。図4では、プロパティ(Properties)タブ426が選択状態にある。その他のコントロールタブ425には、シミュレーション(Simulation)タブ、表面(Surfaces)タブ、スピーカ(Loudspeakers)タブ、聴取者(Listeners)タブ、及びEQタブが含まれる。] 図4
[0019] シミュレーションタブが選択された場合、詳細ウィンドウは、1つ以上の入力コントロール部を表示する。入力コントロール部により、ユーザは、シミュレーションパラメータに対し、値の指定又は複数の値のリストからの選択が可能となる。シミュレーションパラメータの例としては、有効範囲マップに含まれた周波数又は周波数範囲、有効範囲マップの精度を特徴づける分解能、及び有効範囲マップに表示された帯域幅がある。また、ユーザは、音響予測データの表示のために、モデルの1つ以上の面を指定できる。]
[0020] 表面タブ、スピーカタブ、及び聴取者タブにより、ユーザは、モデル内にそれぞれ位置した表面、スピーカ、及び聴取者のプロパティを閲覧できるとともに、表面、スピーカ、及び聴取者を特徴づける1つ以上のパラメータを素早く変更できる。プロパティタブにより、ユーザは、モデル内の表面又はスピーカなどの要素を特徴づけるパラメータを素早く閲覧、編集、及び修正できる。ユーザは、モデリングウィンドウ内の要素を選択し、詳細ウィンドウに表示された要素にパラメータ値を関連付けることができる。詳細ウィンドウにおいてユーザが行った変更は、更新された有効範囲マップとして、例えば、モデリングウィンドウに反映される。]
[0021] EQタブが選択された場合、EQタブにより、ユーザは、選択した1つ以上のスピーカに対する平衡化曲線を指定できる。各スピーカは、スピーカに割り当てられた異なる平衡化曲線を有してよい。]
[0022] 図5は、時間応答(Time Response)タブ526が選択された際の例示的なデータウィンドウ240を示す。その他のコントロールタブ525には、周波数応答(Frequency Response)タブ、変調伝達関数(Modulation Transfer Function)(MTF)タブ、統計(Statistics)タブ、音圧レベル(Sound Pressure Level)(SPL)タブ、及び反響時間(Reverberation Time)(RT60)タブが含まれる。周波数応答タブは、ユーザによって選択された特定の位置における周波数応答を表示する。ユーザは、モデリングウィンドウ220に表示された有効範囲マップにサンプルカーソルを配置でき、その位置における周波数応答がデータウィンドウ240に表示される。MTFタブは、ユーザによって選択された特定の位置における周波数の関数として保存される正規化変調量を表示する。統計タブは、選択された有効範囲マップにおける有効範囲データの均一性を示すヒストグラムを表示する。好ましくは、ヒストグラムは、あるSPLについて、そのSPL値に対する正規化発生をプロットする。ヒストグラムには、色分けされた線で平均及び標準偏差を表示してよい。SPLタブは、周波数に応じた室内周波数応答を表示する。各周波数における平均SPLを表す色分けされた線が、バックグラウンドノイズレベル及び/又はハウス曲線を表す色分けされた線と共に、データウィンドウに表示されてよい。ハウス曲線は、所望の室内周波数応答を表す。影付きの部分は、平均SPL線を取り囲み、平均からの標準偏差を示す。RT60タブは、周波数に応じた反響時間を表示する。ユーザは、反響時間の代わりに、周波数に応じた平均吸収データを表示するように選択することもできる。] 図5
[0023] 図5において、データウィンドウ240には、時間応答をプロットしたものが表示されている。時間応答プロットは、縦軸に信号強度又はSPLを示し、横軸に経過時間を示しており、ユーザ選択された位置における音響信号の到達を示している。図5に示された縦向きの釘又はピン状の線は、サンプリングした位置における、設計内の複数のスピーカのうちの1つからの信号の到達を表している。到達には、直接到達541又は間接到達がある。間接到達とは、モデル内の1つ以上の表面からの反射による到達である。好適な実施形態において、各ピンは、色分けされて、直接到達と、1つの表面542からの反射による信号を表す1次到達と、2つの表面543からの反射による信号を表す2次到達と、高次到達とを示す。反響フィールド包絡線545が推定され、時間応答プロット中に表示されてよい。反響フィールド包絡線をどのように求めるかについての一例が、非特許文献6に記載されており、その全内容が引用によって本明細書に組み込まれる。] 図5
[0024] ユーザは、図5に示されたピンを選択して、選択したピンの経路をモデリングウィンドウ220に表示してよい。次いで、ユーザは、詳細ウィンドウ240の設計に修正を加えて、その修正がモデリングウィンドウ220に表示された有効範囲にどのような影響を与えるか、又は、データウィンドウにどのような反応が現れるかを見る。例えば、ユーザは、モデリングウィンドウ220、データウィンドウ240、及び詳細ウィンドウ230の現在の表示を用いて、スピーカに対する遅延を素早くかつ容易に調整できる。この例では、ユーザは、スピーカに対する遅延を調整して、サンプル位置に位置した聴取者に対する正しい定位を提供する。聴取者は、自身の聴いた第1到達音に基づいて、音の定位を行いがちである。聴取者が第1スピーカから離れた位置にあるオーディオソースである第2スピーカの近くに位置する場合、その聴取者は、第2スピーカをソースに定位を行うであろう。第1スピーカからのオーディオ信号の後に、第2スピーカからのオーディオ信号が調達するように、第2スピーカが遅延させられている場合、聴取者は、音の定位を正しく行うことが可能となる。] 図5
[0025] ユーザは、時間応答プロット中の直接到達をデータウィンドウに表示することによって、適切な遅延を選択できる。ユーザは、複数の直接到達のうちの1つを表すピンを選択して、モデリングウィンドウ内の選択した直接到達のソースを識別できる。モデリングウィンドウは、選択した直接到達について、モデル内の複数のスピーカのうちの1つからの経路を表示する。次いで、ユーザは、聴取者が第1直接到達ではなくオーディオソースに類似したスピーカから聴き取るように、詳細ウィンドウにおいて、識別されたスピーカの遅延を調整する。]
[0026] モデリングウィンドウ内のモデル及び有効範囲フィールドの両方の同時表示と、データウィンドウ内の時間応答などの応答特性と、詳細ウィンドウ内のスピーカパラメータなどのプロパティ特性とにより、ユーザは、潜在的な問題を迅速に識別し、さまざまな処置を試み、それらの処置の結果を閲覧し、所望の処置を選択することができる。]
[0027] 別の例として、好ましくない到達時間の除去があり、モデル、応答、及びプロパティ特性の同時表示により、ユーザは、潜在的な問題を速やかに識別し、正すことができる。一般に、直接到達後に100msを超える遅れで到着し、10dBを超える音量となる反響フィールド上の到着音は、聴取者によって認識され、不快感を与える。ユーザは、データウィンドウ内の時間応答プロットから好ましくない到達時間を選択して、モデリングウィンドウでその経路を確認し、選択した経路に関連したスピーカ及び表面を識別することができる。ユーザは、選択した経路に関連した複数の表面のうちの1つを選択し、詳細ウィンドウ中の選択した表面に関連した材料を修正又は変更して、データウィンドウにおいてその効果を確認できる。ユーザは、詳細ウィンドウ中のスピーカタブを選択することによって、スピーカの向きを再設定し、詳細ウィンドウにその変更を入力してよく、又は、モデリングウィンドウ中のスピーカをドラッグ&ドロップによって新しい位置へ移動させてもよい。]
[0028] 図6は、MTFタブ626が選択された際のデータウィンドウを示す。変調伝達関数(MTF)は、所与のオクターブ帯域に対する変調周波数に応じて保たれた正規化変調を返す。MTFについては、非特許文献3乃至6に記載がある。図6では、簡潔化のために、125Hz 650、1kHz 660、及び8kHz 670に対応するオクターブ帯域のためのMTFだけしか示されていないが、その他のオクターブ帯域が表示されてもよい。理想的な状況下では、MTFは、音声を発する話者の発声器の変調に実質的に等しく、したがって、音声明瞭度は理想的となる。しかしながら、実世界においては、MTFは、理想値よりも大きく落ち込み、音声明瞭度問題が起こりうることを示す。]
[0029] 図6bは、例示的なMTFプロットを示す。MTFプロットは、音声明瞭度問題の原因を示している。図6bでは、図6aに示された1kHzMTF660に対応するMTFが再表示されており、別のMTFプロットとの比較を提供する。図6bの参照符号690が付されたMTFは、モデル化された空間の音声明瞭度にバックグラウンドノイズが大きく影響する場合に予期されるMTFを表している。バックグラウンドノイズの寄与が大きく、音声明瞭度が良くない場合、参照符号690が付されたMTFを参照符号660が付されたMTFと比較すると、当該MTFは、図6bに示されたように変調周波数の独立性を著しく減少させる。反響の寄与が大きく、音声明瞭度が良くない場合、MTFは、より高い変調周波数で減少する。ここで、MTFの減少率は、図6bの参照符号693が付されたMTFによって示されたように、反響時間の増大に従って増大する。図6bの参照符号696が付されたMTFは、遅れて到達する反射音のMTFへの影響を示す。遅れて到達する反射音は、変調周波数に位置するV字型部分(ノッチ)697として、MTFに現れる。これは、遅れて到達する反射音の時間遅延に反比例する。] 図6a 図6b
[0030] 図6bに示されたように、バックグラウンドノイズは、再生場所の音声明瞭度に多大な影響を与えるおそれがある。ユーザは、PNCやNCなどの標準ノイズプロファイルのライブラリから選択が行える。ユーザは、標準ノイズプロファイルを選択して、ユーザ定義曲線上の全利得を調整し、推定バックグラウンドノイズレベルを再生場所に期待されるレベルに一致させる。] 図6b
[0031] 標準ノイズプロファイルのライブラリからバックグラウンドノイズプロファイルを選択することに加えて、ユーザは、新たなバックグラウンドノイズプロファイルを作成又はインポートしてよい。新たなバックグラウンドノイズプロファイルの作成又はインポート機能は、設計モデルのオーディオ再生部による、より現実的なオーディオ再現を提供する。設計プロジェクトが既に建造された再生場所を対象とする場合、ユーザは、現存する再生場所での録音に基づいて生成されたバックグラウンドノイズプロファイルを提供できる。設計プロジェクトが建造途中の再生場所を対象とする場合、ユーザは、類似した再生場所でバックグラウンドノイズを録音する。例えば、ユーザにより現実的な再現を提供可能な空港や駅などで録音が行われる。別の例では、録音は、レストラン内の隣合うテーブルでの雑談によって生成される「ざわめき(babble)」に対してなされ、より現実的なレストランの環境をシミュレートする。各バックグラウンドノイズプロファイルは、設計システムによって別個のファイルとして格納されてよい。]
[0032] 図7は、音響タブが選択された際の詳細ウィンドウの詳細図である。図7では、温度、湿度、バックグラウンドノイズなど、モデル内の音響に影響を及ぼす室内レベルパラメータが、互いにグループ化されており、ユーザによって編集可能となっている。コントロールボタンなどのユーザコントロール部710が操作され、モデルに対してバックグラウンドノイズプロファイルが選択される。ユーザがコントロール部710を選択したとき、プロファイル編集ウィンドウが表示され、それによって、ユーザは、ノイズプロファイルを選択及び編集できる。] 図7
[0033] 図8は、バックグラウンドノイズプロファイルの生成又は修正に使用されるプロファイル編集ウィンドウを示す。プロファイル編集ウィンドウには、ユーザによる所望のノイズプロファイルのファイルの案内及び選択機能を有したノイズディレクトリ部810が含まれる。ユーザは、所定の標準ノイズプロファイルを含む複数のノイズプロファイルのライブラリからノイズプロファイルを選択するとともに、新たに生成されるノイズプロファイル及び予めライブラリに保存されていたノイズプロファイルの設定を行う。所定の標準のイズプロファイルは、ロックされており、ユーザが標準ノイズプロファイルを不用意に変更することを防止している。しかしながら、ユーザは、そのような標準ノイズプロファイルの複製を作成し、その複製を編集して、編集した複製を新たな名称で保存することができる。ユーザがノイズディレクトリ部810のノイズプロファイルを選択したとき、選択されたノイズプロファイルは、ハイライト表示されるとともに、リスト部820及びグラフ部830に表示される。リスト部820は、選択されたノイズプロファイルの各周波数帯域でのレベルを表す。リストコントロール部825により、ユーザは、周波数帯域の帯域幅を選択できる。ユーザは、周波数帯域を選択し、かつ選択した帯域823に新たな値を入力することによって、選択したノイズプロファイルを編集できる。リスト部820に表示された値は、グラフ部830にグラフィカルに表示される。グラフ部830は、選択されたノイズプロファイル835のプロットを周波数の関数として表示する。選択された帯域823は、グラフ中に縦軸833として表示される。ユーザは、選択した帯域833に関連した点837を選択し、その点837を上下にドラッグすることによって、選択した帯域833に対する選択したノイズプロファイルの値を変更できる。ユーザが選択したノイズプロファイルの編集を終えたとき、ユーザがOKボタンをクリックすると、ユーザインタフェースは、編集結果の保存又は破棄(キャンセル)の入力要求を行う。] 図8
[0034] 図9は、再生タブが選択された際のデータウィンドウを示す。再生タブにより、ユーザは、シミュレートされた音響再生装置及びモデルのオーディオ再現をコントロールできる。ユーザは、オーディオ再生デバイスに、USBポートなどの外部ポートに、又は後の再生のために、WAV又はMP3ファイルなどのファイルに、オーディオ再現を出力する。ユーザは、プログラム信号のレベルの設定が可能であるとともに、プログラム信号レベルとは独立して、バックグラウンドノイズのレベルを設定可能である。ユーザがバックグラウンドノイズのレベルを調整した場合、システムは、モデリングウィンドウ中のSTI有効範囲マップの更新及び表示を行うことによって、ノイズレベルの変化がSTI有効範囲マップに及ぼす影響を、ユーザ目視可能とする。] 図9
[0035] また、有効範囲マップへのバックグラウンドノイズの影響を見ることに加えて、ユーザは、オーディオ再生デバイスを介してその効果を聴取できる。オーディオ再生部を介して、プログラム信号と共に、適切なバックグラウンドノイズを再生することによって、ユーザは、モデルのより現実的なシミュレーションを体験する。例えば、モデルが空港のチェックインエリアである場合、空港のチェックインエリアでの録音から生成されたバックグラウンドノイズプロファイルが、例えば、標準ピンクノイズプロファイルよりも、より現実的なシミュレーションを提供するであろう。ユーザは、モデル化された再生場所がまだ建造されていない場合に、類似の再生場所でバックグラウンドノイズを録音し、録音したバックグラウンドノイズをシミュレーションシステム互換形式に変換する。例えば、録音したバックグラウンドノイズは、周波数領域へ変換されて、録音したバックグラウンドノイズに対するノイズプロファイルを生成する。録音したバックグラウンドノイズは、フィルタリングがなされて、オーディオ再生部互換形式で格納される。録音したバックグラウンドノイズのフィルタリングは、オーディオ再生部によって生成されるあらゆる直線歪みを補正するように、記録した信号を平衡化する。例えば、オーディオ再生部は、10kHz以上に10dBを加え、かつ10dBのブーストに対する補正を行うために、記録した信号を平衡化して、10kHz以上の10dB分、信号を減じさせる。それにより、再現されたオーディオ再生は、オーディオ再生部によって生成される直線歪みが減少する。生成したプロファイル及びフィルタリング済み記録音は、バックグラウンドノイズライブラリに格納される。ユーザがノイズプロファイルを選択したとき、ノイズプロファイル及びフィルタリング済み記録音の両方が、モデル中にロードされる。ノイズプロファイルは、例えば、STI有効範囲を算出するために使用される。フィルタリング済み記録音は、ユーザによって選択された場合に、オーディオ再生部を介して再生される。]
[0036] 上記のシステム及び方法の各実施形態には、コンピュータコンポーネント及びコンピュータ実行ステップが含まれ、それらは、当業者には明らかである。例えば、オーディオエンジン部、モデル管理部、ユーザインタフェース部、及びオーディオ再生部の各部が、コンピュータ可読媒体、例えば、フロッピー(登録商標)ディスク、ハードディスク、フラッシュROM、不揮発性ROM、フラッシュドライブ、及びRAMなどにコンピュータ実行可能命令として格納されたコンピュータ実行ステップとして実行されてよいことを当業者は理解する。さらに、コンピュータ実行可能命令が、例えば、マイクロプロセッサ、デジタル信号プロセッサ、ゲートアレイ等のさまざまなプロセッサで実行されてよいことを当業者は理解する。開示の簡略化のために、明細書中では、上記のシステム及び方法のすべての構成要素又はステップを説明していないが、当業者であれば、各構成要素又はステップが対応するコンピュータシステム又はソフトウェアコンポーネントを有するということを認識できる。したがって、そのようなコンピュータシステム及び/又はソフトウェアコンポーネントは、それらの対応する構成要素又はステップ(換言すれば、その機能性)を記載したことによって実施可能となっており、かつそれらは本発明の範囲内にある。]
[0037] 本発明の少なくとも例示した実施形態について記載したが、さまざまな修正及び改良が当業者には容易であり、かつそれらは本発明の範囲内にある。したがって、先の記載は、例示のみを目的とし、限定を意図しない。本発明は、特許請求の範囲及びその均等物における定義によってのみ限定される。]
[0038] 110ユーザインタフェース部
120モデル管理部
122音響空間
124プロパティデータベース部
126オーディオデータベース部
130オーディオエンジン部
140オーディオ再生部]
权利要求:

請求項1
ユーザによる再生場所の三次元モデルの構築機能及び該モデル内での1つ以上のスピーカの配置及び方向付け機能を有するように構成されたモデル管理部と、前記モデルの構成要素の少なくとも1つの音響特性に基づいて、前記再生場所の一部分における有効範囲パターンを推定するように構成されたオーディオエンジン部と、少なくとも2つの音響信号を生成して、前記モデル内の前記1つ以上のスピーカで再生されるオーディオプログラムをシミュレートするオーディオ再生部とを具備し、前記少なくとも2つの音響信号には、オーディオプログラム信号と、バックグラウンドノイズ信号とが含まれることを特徴とするオーディオシミュレーションシステム。
請求項2
前記バックグラウンドノイズ信号を平衡化して、前記オーディオ再生部によって生成される直線歪みを低減することを特徴とする請求項1に記載のオーディオシミュレーションシステム。
請求項3
少なくとも1つのユーザ定義バックグラウンドノイズファイルからなるバックグラウンドノイズライブラリ部をさらに具備し、前記ユーザ定義バックグラウンドノイズファイルは、ノイズプロファイル部分と、前記バックグラウンドノイズの音響信号を表すバックグラウンドノイズ信号とからなり、前記ノイズプロファイル部分は、前記オーディオエンジン部によって使用されて、音声明瞭度範囲パターンを推定し、前記バックグラウンドノイズ信号は、前記オーディオ再生部によって再生されて、バックグラウンドノイズをシミュレートすることを特徴とする請求項1に記載のオーディオシミュレーションシステム。
請求項4
前記バックグラウンドノイズ信号が、本シミュレーションシステムによってモデル化された前記再生場所で記録されることを特徴とする請求項3に記載のオーディオシミュレーションシステム。
請求項5
前記バックグラウンドノイズ信号が、本シミュレーションシステムによってモデル化された前記再生場所に類似した再生場所で記録されることを特徴とする請求項3に記載のオーディオシミュレーションシステム。
請求項6
前記バックグラウンドノイズ信号のレベルが、前記オーディオプログラム信号のレベルとは独立して調整されることを特徴とする請求項3に記載のオーディオシミュレーションシステム。
請求項7
前記音声明瞭度範囲パターンが、自動的に更新されて、独立して調整された前記バックグラウンドノイズ信号を前記オーディオプログラム信号に反映させることを特徴とする請求項6に記載のオーディオシミュレーションシステム。
請求項8
ユーザによる前記ユーザ定義バックグラウンドノイズファイルの前記ノイズプロファイル部分のグラフィカルな編集機能を有するように構成されたプロファイル編集部をさらに具備することを特徴とする請求項3に記載のオーディオシミュレーションシステム。
請求項9
モデル管理部、オーディオエンジン部、及びオーディオ再生部を具備したオーディオシミュレーションシステムを提供する段階と、前記オーディオシミュレーションシステムに再生場所のモデルを構築する段階と、前記モデル内の位置を選択する段階と、少なくとも2つの音響信号を生成して、選択した前記位置において前記モデル内の音響再生装置で再生されるオーディオプログラムをシミュレートする段階とを有し、前記モデルには、前記音響再生装置が含まれ、前記少なくとも2つの音響信号には、オーディオプログラム信号と、バックグラウンドノイズ信号とが含まれることを特徴とするオーディオシミュレーション方法。
請求項10
前記再生場所に基づいて、前記バックグラウンドノイズ信号を選択する段階をさらに有することを特徴とする請求項9に記載のオーディオシミュレーション方法。
請求項11
前記オーディオプログラム信号とは独立して、前記バックグラウンドノイズ信号を調整する段階をさらに有することを特徴とする請求項9に記載のオーディオシミュレーション方法。
請求項12
現在の再生場所におけるバックグラウンドノイズを録音する段階と、録音した前記バックグラウンドノイズを平衡化して、前記音響再生部によって生成される直線歪みを低減する段階と、平衡化された前記バックグラウンドノイズをファイルに保存する段階とをさらに有し、前記ファイルは、ユーザ選択可能なバックグラウンドノイズファイルのライブラリの一部分であることを特徴とする請求項9に記載のオーディオシミュレーション方法。
請求項13
前記バックグラウンドノイズ信号を編集する段階をさらに有することを特徴とする請求項9に記載のオーディオシミュレーション方法。
請求項14
コンピュータ実行可能命令を格納したコンピュータ可読媒体であって、モデル管理部、オーディオエンジン部、及びオーディオ再生部を具備したオーディオシミュレーションシステムを提供する手順と、前記オーディオシミュレーションシステムに再生場所のモデルを構築する手順と、前記モデル内の位置を選択する手順と、少なくとも2つの音響信号を生成して、選択した前記位置における前記モデル内の音響再生システムで再生されるオーディオプログラムをシミュレートする手順とをコンピュータに実行させる命令を格納し、前記モデルには、前記音響再生システムが含まれ、前記少なくとも2つの音響信号には、オーディオプログラム信号と、バックグラウンドノイズ信号とが含まれることを特徴とするコンピュータ可読媒体。
类似技术:
公开号 | 公开日 | 专利标题
Alten2013|Audio in media
Toole et al.1988|The modification of timbre by resonances: Perception and measurement
Bech et al.2006|Perceptual audio evaluation: theory, method and application
US8082051B2|2011-12-20|Audio tuning system
Lindau et al.2012|Perceptual evaluation of model-and signal-based predictors of the mixing time in binaural room impulse responses
Søndergaard et al.2013|The auditory modeling toolbox
CA2948457C|2019-02-26|Methods and systems for improved acoustic environment characterization
Gardner1992|The virtual acoustic room
Corey2016|Audio production and critical listening: Technical ear training
Christensen et al.2010|The CHiME corpus: a resource and a challenge for computational hearing in multisource environments
US8208647B2|2012-06-26|Method and device for determining a room acoustic impulse response in the time domain
EP2637422B1|2017-05-03|System for headphone equalization
CA2827326C|2016-05-17|Apparatus and method for determining a measure for a perceived level of reverberation, audio processor and method for processing a signal
Gade2014|Acoustics in halls for speech and music
US8908875B2|2014-12-09|Electronic device with digital reverberator and method
KR20160033706A|2016-03-28|이명 치료를 위한 시스템 및 방법
Martellotta2010|The just noticeable difference of center time and clarity index in large reverberant spaces
Martellotta et al.2009|Guidelines for acoustical measurements in churches
JP2004526364A|2004-08-26|3次元音響環境をシミュレートするための方法とシステム
JP4896485B2|2012-03-14|サウンドシステムを設計するためのシステムおよび方法
Gade2011|Acoustics for symphony orchestras; status after three decades of experimental research
Toole1986|Loudspeaker measurements and their relationship to listener preferences: Part 2
JP2006500818A|2006-01-05|音再生システム、プログラム、及びデータ担体
Postma et al.2016|Perceptive and objective evaluation of calibrated room acoustic simulation auralizations
KR20110122631A|2011-11-10|입체 음향 재생 방법 및 장치
同族专利:
公开号 | 公开日
US20090144036A1|2009-06-04|
WO2009073264A1|2009-06-11|
JP5274573B2|2013-08-28|
EP2225892A1|2010-09-08|
US7805286B2|2010-09-28|
引用文献:
公开号 | 申请日 | 公开日 | 申请人 | 专利标题
JPH0667690A|1992-08-20|1994-03-11|Ricoh Co Ltd|車載用音声認識装置|
JP2006058245A|2004-08-23|2006-03-02|Nittobo Acoustic Engineering Co Ltd|環境騒音推計方法及び環境騒音推計システム並びに環境騒音推計方式の評価方法及びその評価システム|
JP2006071775A|2004-08-31|2006-03-16|Aiphone Co Ltd|音声再生方法およびその装置|
JP2006119640A|2004-10-13|2006-05-11|Bose Corp|サウンドシステムを設計するためのシステムおよび方法|
WO2006126161A2|2005-05-26|2006-11-30|Bang & Olufsen A/S|Recording, synthesis and reproduction of sound fields in an enclosure|
JP2008546270A|2005-05-26|2008-12-18|バングアンドオルフセンアクティーゼルスカブ|筐体内の音場の録音、合成、及び再現|
JP2007206636A|2006-02-06|2007-08-16|Yamaha Corp|音響制御装置、音響制御方法、および音響制御プログラム|
JP2007212190A|2006-02-07|2007-08-23|Yamaha Corp|応答波形合成方法、応答波形合成装置、音響設計支援装置および音響設計支援プログラム|JP2014015117A|2012-07-09|2014-01-30|Mitsubishi Motors Corp|音響制御装置|EP0593228B1|1992-10-13|2000-01-05|Matsushita Electric Industrial Co., Ltd.|Sound environment simulator and a method of analyzing a sound space|
US5812676A|1994-05-31|1998-09-22|Bose Corporation|Near-field reproduction of binaurally encoded signals|
US6895378B1|2000-09-22|2005-05-17|Meyer Sound Laboratories, Incorporated|System and method for producing acoustic response predictions via a communications network|
US7783054B2|2000-12-22|2010-08-24|Harman Becker Automotive Systems Gmbh|System for auralizing a loudspeaker in a monitoring room for any type of input signals|
US7096169B2|2002-05-16|2006-08-22|Crutchfield Corporation|Virtual speaker demonstration system and virtual noise simulation|US8150051B2|2007-12-12|2012-04-03|Bose Corporation|System and method for sound system simulation|
US9330720B2|2008-01-03|2016-05-03|Apple Inc.|Methods and apparatus for altering audio output signals|
US20100030549A1|2008-07-31|2010-02-04|Lee Michael M|Mobile device having human language translation capability with positional feedback|
US8676904B2|2008-10-02|2014-03-18|Apple Inc.|Electronic devices with voice command and contextual data processing capabilities|
US8620879B2|2009-10-13|2013-12-31|Google Inc.|Cloud based file storage service|
US8499253B2|2009-10-13|2013-07-30|Google Inc.|Individualized tab audio controls|
US10276170B2|2010-01-18|2019-04-30|Apple Inc.|Intelligent automated assistant|
US8682667B2|2010-02-25|2014-03-25|Apple Inc.|User profiling for selecting user specific voice input processing information|
US8639516B2|2010-06-04|2014-01-28|Apple Inc.|User-specific noise suppression for voice quality improvements|
US20120038827A1|2010-08-11|2012-02-16|Charles Davis|System and methods for dual view viewing with targeted sound projection|
US8719930B2|2010-10-12|2014-05-06|Sonus Networks, Inc.|Real-time network attack detection and mitigation infrastructure|
US20120192070A1|2011-01-21|2012-07-26|De Faria Manuel Dias Lima|Interactive sound system|
US9262612B2|2011-03-21|2016-02-16|Apple Inc.|Device access using voice authentication|
EP2648425B1|2012-04-03|2019-06-19|Dutch & Dutch B.V.|Simulating and configuring an acoustic system|
AU2014214676A1|2013-02-07|2015-08-27|Apple Inc.|Voice trigger for a digital assistant|
DE102013102356A1|2013-03-08|2014-09-11|Sda Software Design Ahnert Gmbh|Verfahren zum Bestimmen einer Konfiguration für eine Lautsprecheranordnung zum Beschallen eines Raums und Computerprogrammprodukt|
WO2014197335A1|2013-06-08|2014-12-11|Apple Inc.|Interpreting and acting upon commands that involve sharing information with remote devices|
US10176167B2|2013-06-09|2019-01-08|Apple Inc.|System and method for inferring user intent from speech inputs|
US9633004B2|2014-05-30|2017-04-25|Apple Inc.|Better resolution when referencing to concepts|
US9430463B2|2014-05-30|2016-08-30|Apple Inc.|Exemplar-based natural language processing|
US10170123B2|2014-05-30|2019-01-01|Apple Inc.|Intelligent assistant for home automation|
EP3149728B1|2014-05-30|2019-01-16|Apple Inc.|Multi-command single utterance input method|
US9818400B2|2014-09-11|2017-11-14|Apple Inc.|Method and apparatus for discovering trending terms in speech requests|
US9668121B2|2014-09-30|2017-05-30|Apple Inc.|Social reminders|
US10127911B2|2014-09-30|2018-11-13|Apple Inc.|Speaker identification and unsupervised speaker adaptation techniques|
US10074360B2|2014-09-30|2018-09-11|Apple Inc.|Providing an indication of the suitability of speech recognition|
US9886953B2|2015-03-08|2018-02-06|Apple Inc.|Virtual assistant activation|
US9721566B2|2015-03-08|2017-08-01|Apple Inc.|Competing devices responding to voice triggers|
US9578173B2|2015-06-05|2017-02-21|Apple Inc.|Virtual assistant aided communication with 3rd party service in a communication session|
EP3678386A1|2015-10-08|2020-07-08|Bang & Olufsen A/S|Active room compensation in loudspeaker system|
US10049668B2|2015-12-02|2018-08-14|Apple Inc.|Applying neural network language models to weighted finite state transducers for automatic speech recognition|
US10063965B2|2016-06-01|2018-08-28|Google Llc|Sound source estimation using neural networks|
US9992570B2|2016-06-01|2018-06-05|Google Llc|Auralization for multi-microphone devices|
US10586535B2|2016-06-10|2020-03-10|Apple Inc.|Intelligent digital assistant in a multi-tasking environment|
DK201670540A1|2016-06-11|2018-01-08|Apple Inc|Application integration with a digital assistant|
US10474753B2|2016-09-07|2019-11-12|Apple Inc.|Language identification using recurrent neural networks|
US10043516B2|2016-09-23|2018-08-07|Apple Inc.|Intelligent automated assistant|
US10375498B2|2016-11-16|2019-08-06|Dts, Inc.|Graphical user interface for calibrating a surround sound system|
US10417266B2|2017-05-09|2019-09-17|Apple Inc.|Context-aware ranking of intelligent response suggestions|
DK201770383A1|2017-05-09|2018-12-14|Apple Inc.|User interface for correcting recognition errors|
US10726832B2|2017-05-11|2020-07-28|Apple Inc.|Maintaining privacy of personal information|
US10395654B2|2017-05-11|2019-08-27|Apple Inc.|Text normalization based on a data-driven learning network|
US10311144B2|2017-05-16|2019-06-04|Apple Inc.|Emoji word sense disambiguation|
US10403278B2|2017-05-16|2019-09-03|Apple Inc.|Methods and systems for phonetic matching in digital assistant services|
DK179549B1|2017-05-16|2019-02-12|Apple Inc.|Far-field extension for digital assistant services|
US10303715B2|2017-05-16|2019-05-28|Apple Inc.|Intelligent automated assistant for media exploration|
US10657328B2|2017-06-02|2020-05-19|Apple Inc.|Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling|
US10445429B2|2017-09-21|2019-10-15|Apple Inc.|Natural language understanding using vocabularies with compressed serialized tries|
US10755051B2|2017-09-29|2020-08-25|Apple Inc.|Rule-based natural language processing|
US10636424B2|2017-11-30|2020-04-28|Apple Inc.|Multi-turn canned dialog|
US10733982B2|2018-01-08|2020-08-04|Apple Inc.|Multi-directional dialog|
US10733375B2|2018-01-31|2020-08-04|Apple Inc.|Knowledge-based framework for improving natural language understanding|
US10789959B2|2018-03-02|2020-09-29|Apple Inc.|Training speaker recognition models for digital assistants|
US10592604B2|2018-03-12|2020-03-17|Apple Inc.|Inverse text normalization for automatic speech recognition|
US10818288B2|2018-03-26|2020-10-27|Apple Inc.|Natural assistant interaction|
DK201870382A1|2018-06-01|2020-01-13|Apple Inc.|Attention aware virtual assistant dismissal|
DK179822B1|2018-06-01|2019-07-12|Apple Inc.|Voice interaction at a primary device to access call functionality of a companion device|
US10496705B1|2018-06-03|2019-12-03|Apple Inc.|Accelerated task performance|
法律状态:
2012-02-01| A977| Report on retrieval|Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120201 |
2012-02-08| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
2012-04-20| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120419 |
2012-11-14| A02| Decision of refusal|Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121113 |
2013-02-15| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130214 |
2013-02-26| A911| Transfer of reconsideration by examiner before appeal (zenchi)|Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130225 |
2013-04-08| TRDD| Decision of grant or rejection written|
2013-04-17| A01| Written decision to grant a patent or to grant a registration (utility model)|Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130416 |
2013-05-23| A61| First payment of annual fees (during grant procedure)|Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130514 |
2013-05-24| R150| Certificate of patent or registration of utility model|Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5274573 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
2016-05-17| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2017-05-23| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2018-05-22| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2019-05-24| LAPS| Cancellation because of no payment of annual fees|
优先权:
申请号 | 申请日 | 专利标题
[返回顶部]